روش پیش تعلیم سریع بر مبنای کمینه سازی خطا برای همگرائی یادگیری شبکه های عصبی با ساختار عمیق

در این مقاله با توسعه روش های موجود و بر مبنای کمینه سازی خطا و حفظ تمایز بیشینه مابین نمونه ها یک روش پیش تعلیم لایه به لایه سریع و کارا جهت مقداردهی اولیه مناسب وزن ها در شبکه های عصبی با ساختارهای عمیق ارائه شده است. تعلیم شبکه های عصبی عمیق به دلیل مواجه با تعداد بالای کمینه های موضعی اغلب همگرا نمی گردد. درحالیکه با مقداردهی اولیه مناسب وزن های شبکه به جای مقادیر تصادفی در ابتدای مسیر تعلیم، می توان از بسیاری از کمینه های موضعی اجتناب نمود. در این روش شبکه عصبی چند لایه به تعداد متناظری شبکه با یک لایه پنهان شکسته می شود و ابتدا این شبکه های تک لایه تعلیم داده می شوند. سپس مقادیر وزن حاصل از تعلیم اینها در شبکه عصبی اصلی قرار داده می شود و برای تنظیم دقیق وزن ها، تعلیم یکپارچه صورت می گیرد. روش پیشنهادی برای پیش تعلیم شبکه عصبی خودانجمنی 5 لایه پنهان جهت استخراج مؤلفه های اساسی غیرخطی چهره برای دادگان بسفروس مورد استفاده قرار گرفت. مقایسه میانگین نتایج شبکه های عصبی با مقداردهی اولیه تصادفی و مقداردهی با روش پیش تعلیم لایه به لایه نشان می دهد که این روش پیش تعلیم علاوه بر اینکه سرعت همگرائی تعلیم را بهبود می دهد، قدرت تعمیم شبکه را نیز بالا می برد. به گونه ایکه با وجود خطای تعلیم یکسان، با بکارگیری روش پیش تعلیم لایه به لایه برای مقداردهی اولیه وزن ها، خطای بازسازی هر پیکسل %69/13 کاهش و درصد صحت بازشناسی تصاویر با استفاده از مؤلفه های استخراج شده حدود %10 رشد داشته است.